작은 딥러닝 인공지능이 많이 사용되다가, GPT2 이후로 사전 학습 (pre-train- 대규모 데이터셋으로 데이터의 일반적인 특징을 미리 학습)된 거대한 인공지능이 좋은 성능을 낸다는 것을 발견하면서 거대 인공지능을 사전에 학습시켜 과제에 맞게 파인 튜닝하는 방법을 사용
파인 튜닝(Fine tuning): 초거대 인공지능을 세부 과제에 적합하도록 다시 학습해서성능이 잘 나오도록 미세하게 조정하는 작업.
세부 과제에 적합하게 재학습시키 때문에 기학습한 일반적인 특성의 일부를 포기하는 특징을 가짐.
일정 수준 이상의 파라미터를 가진 거대 인공지능에서 문맥 내 학습이 가능하다는 것을 발견.
after: 인공지능의 기술적 문제에 대해 1개만 알려줘. 그리고 왜 대표적인 문제로 설정했는지 이야기해줘.
맥락 학습: 프롬프트를 작성하려는 배경 추가
before: 메일로 교수님께 안부 인사를 써줘.
after: 교수님은 내 지도교수님으로 대학원 때 많은 신세를 졌고 최근에 정교수가 되셨는데 오랫동안 뵙지 못했어. 메일로 교수님에게 안부 인사를 써줘.
예시 명시: 기대하는 응답의 예시 추가
before: 프롬프트 관련된 도서 이름을 추천해 줘.
after: 프롬프트 관련된 도서 이름을 추천해 줘. 기술: 시간, 이름: 어제와 오늘 사이
정의 명시: 잘 사용되지 않거나 동음이의어가 있는 경우 정의를 추가 서술
before: comm 에 대해 알려줘.
after: comm 은 communication 을 의미해. comm 에 대해 알려줘.
모호성 회피: 문법적 오류 제거
아버지가방에들어가신다 등.
과정보 제거: 최대한 간결하게, 필요한 정보는 누락되지 않도록 작성
before: 오늘 아침에 밥을 먹으면서 뉴스를 봤어. 너는 아침밥을 먹었니? 어떨 땐 다른 사람들은 뭘먹나 싶어. 매일 밥 먹을 메뉴를 고민하는 건 고민이야. 나는 토스트를 좋아하긴 해. 그래서토스트를 주로 먹곤 하지. 토스트에 딸기잼을 바르면서 뉴스를 보니 인공지능이 중요해진걸까? 뉴스 여기저기서 이야기를 하네. 이제는 이러한 내용을 이야기하지 않는 기자나 뉴스를 찾는 게 더 어려운 것 같아. 인공지능의 기술 동향을 알려줘.
after : 인공지능 기술 동향에 대해 알려줘.
하이퍼 파라미터 튜닝: AI 별로 제공하는 파라미터가 다르므로, 원하는 결과값에 따라 조정.
